- 对给定数据的表示重要性
简单的机器学习算法的性能很大程度上依赖于给定数据的表示，整个计算机科学乃至日常生活中，对表示的依赖都是一个普遍现象。
- 变差因素（factors of variation）
当设计特征或设计用于学习特征的算法时，我们的目标通常是分离出能解释观察数据的查遍因素。实际应用中主要是多个查变因素同时影响我们能够观察到的每一个数据。
- 深度学习历史发展
- 第一次浪潮
感知机+自适应线性单元（adaptive linear element, ADALINE）—-> 随机梯度下降(stochastic gradient descent)**
基于感知机和ADALINE的模型称为线性模型 (linear model)，仍是目前最广泛使用的机器学习模型。线性模型存在很大的局限性——无法学习异或函数，导致神经网络第一次大衰退（1969）。
整流线性单元（rectified linear unit）
这时神经科学已经不是深度学习研究中的主要指导，现代深度学习从许多领域获得灵感，特别是应用数学的基本内容如线性代数、概率论、信息论和数值优化。
- 第二次浪潮20世纪80年代
联结主义（connectionism）或并行分布处理(parallel distributed processing)
联结主义的中心思想是，当网络将大量简单的计算单元连接在一起时可以实现智能行为。 一些重要概念：
分布式表示（distributed representation）：系统的每一个输入都应该由多个特征表示，并且每一个特征都应该参与到多个可能输入的表示。
反向传播算法在训练中的成功使用。
20世纪90年代神经网络在序列建模中的进展，长短期记忆网络（long short-term memory, LSTM）解决长序列建模的一些根本数学难题。
- 第三次浪潮始于2006年的突破
贪婪逐层预训练，开始着眼于新的无监督学习技术和深度模型在小数据集的泛化能力
评论加载中